5 दिसंबर को, बाइट豆包 बड़े मॉडल टीम ने नवीनतम कोड बड़े मॉडल मूल्यांकन बेंचमार्क - FullStack Bench पेश किया, जिसमें 11 से अधिक वास्तविक परिदृश्य शामिल हैं, 16 प्रकार की प्रोग्रामिंग भाषाओं का समर्थन करता है, और 3374 प्रश्न शामिल हैं। यह बेंचमार्क पिछले मूल्यांकन मानकों की तुलना में, व्यापक प्रोग्रामिंग क्षेत्रों में बड़े मॉडल की कोड विकास क्षमता का अधिक सटीक मूल्यांकन कर सकता है, और वास्तविक दुनिया की प्रोग्रामिंग कार्यों में मॉडल के अनुकूलन को बढ़ावा देता है। वर्तमान में, प्रमुख कोड मूल्यांकन बेंचमार्क, जैसे कि HumanEval और MBPP, आमतौर पर आधारभूत और उच्च स्तरीय पर ध्यान केंद्रित करते हैं।

2024 विश्व आर्टिफिशियल इंटेलिजेंस कॉन्फ्रेंस के दौरान, बायडू के उपाध्यक्ष शि गुआंगजुन ने वेनशिन यियान 4.0 टर्बो मॉडल के उद्यम उपयोगकर्ताओं के लिए पूर्ण रूप से खोलने की घोषणा की और इसकी मूल्य निर्धारण रणनीति का परिचय दिया। वेनशिन यियान 4.0 टर्बो का इनपुट मूल्य 0.03 युआन प्रति हजार टोकन है, और आउटपुट मूल्य 0.06 युआन प्रति हजार टोकन है। शि गुआंगजुन ने指出 किया कि यदि 3:1 के इनपुट-आउटपुट अनुपात के अनुसार गणना की जाए, तो नए मॉडल की कीमत पिछले वेनशिन यियान 4.0 सामान्य संस्करण की तुलना में 70% कम है।

Anthropic ने एक योजना का शुभारंभ किया है, जो AI मॉडल के प्रदर्शन और प्रभाव का मूल्यांकन करने के लिए नए प्रकार के बेंचमार्क टेस्ट के विकास को वित्त पोषण करता है, जिसमें इसके स्वयं के Claude जैसे जनरेटिव मॉडल शामिल हैं।

हाल ही में, स्टैनफोर्ड विश्वविद्यालय के बड़े मॉडल मूल्यांकन सूची HELM MMLU ने नवीनतम परिणाम जारी किए। स्टैनफोर्ड विश्वविद्यालय के बुनियादी मॉडल अनुसंधान केंद्र के निदेशक Percy Liang ने लिखा कि अलीबाबा का Tongyi Qianwen Qwen2-72B मॉडल रैंकिंग में Llama3-70B को पार कर गया है, और यह सबसे अच्छा प्रदर्शन करने वाला ओपन-सोर्स बड़ा मॉडल बन गया है।

Patronus AI ने एक कॉपीराइट जांच उपकरण जारी किया, जिसमें OpenAI के GPT-4 को उल्लंघन की सबसे गंभीर समस्या के रूप में इंगित किया गया। माइक्रोसॉफ्ट के इंजीनियरों ने चेतावनी दी कि एआई चित्र निर्माण उपकरण समाज के लिए खतरा उत्पन्न कर सकता है।

अमेज़न AWS ने मानव बेंचमार्किंग टीम लॉन्च की है, जिसका उद्देश्य आर्टिफिशियल इंटेलिजेंस मॉडल के मूल्यांकन में सुधार करना है। अमेज़न चाहता है कि उपयोगकर्ता आर्टिफिशियल इंटेलिजेंस मॉडल का बेहतर मूल्यांकन कर सकें और इस प्रक्रिया में अधिक लोगों को शामिल होने के लिए प्रेरित करें। AWS बेडरॉक पर मॉडल मूल्यांकन प्रदान करता है, जिससे उनके भंडार में मौजूदा मॉडल का मूल्यांकन किया जा सके। मॉडल मूल्यांकन में स्वचालित मूल्यांकन और मानव मूल्यांकन दोनों भाग शामिल होते हैं, जो विभिन्न मानकों के आधार पर मॉडल के प्रदर्शन का मूल्यांकन करते हैं। AWS उपयोगकर्ताओं के साथ मिलकर काम करने के लिए मानव मूल्यांकन टीम भी प्रदान करता है, ताकि ऐसे मानकों की पहचान की जा सके जो स्वचालित प्रणाली द्वारा पता नहीं किए जा सकते।

📊 बड़े मॉडल के मूल्यांकन प्रणाली: वर्तमान बड़े मॉडल मूल्यांकन प्रणाली में ओपन-सोर्स डेटासेट द्वारा प्रश्न हल करने, बंद मूल्यांकन डेटासेट के कारण निष्पक्षता के मुद्दे और मूल्यांकन मापदंडों का पर्याप्त वैज्ञानिक और संपूर्ण न होना जैसे समस्याएँ हैं।💡 बड़े मॉडल के उपयोग की प्रवृत्ति: लेख में उल्लेख किया गया है कि बड़े मॉडल अब मॉडल स्तर से अनुप्रयोग स्तर की नवाचार में आगे बढ़ चुके हैं।🔎 बड़े मॉडल के वाणिज्यीकरण की समस्या: बड़े मॉडल टीमों के लिए वाणिज्यीकरण को हासिल करना, रैंकिंग और पैरामीटर की तुलना में कहीं अधिक महत्वपूर्ण है।

पैरामीटर मात्रा बड़े मॉडल के मूल्यांकन का एकमात्र मानक नहीं है; मूल्यांकन सेट के भिन्नता से रैंकिंग में बड़े अंतर हो सकते हैं। विषयगत प्रश्नों का अनुपात बढ़ने से भी रैंकिंग प्रभावित होती है। मूल्यांकन की निष्पक्षता को आसानी से चुनौती दी जा सकती है। OpenCompass और FlagEval जैसे तीसरे पक्ष के मूल्यांकन संस्थान अब ध्यान आकर्षित कर रहे हैं। शैक्षिक समुदाय का मानना है कि मॉडल की मजबूती, सुरक्षा आदि जैसे कई पहलुओं पर भी विचार किया जाना चाहिए। वास्तव में व्यापक और प्रभावी मूल्यांकन विधि अभी भी खोजी जा रही है।

Arthur ने ओपन-सोर्स उपकरण ArthurBench लॉन्च किया है, जो बड़े भाषा मॉडलों के प्रदर्शन का मूल्यांकन और तुलना करने के लिए है। ArthurBench कंपनियों को विशिष्ट उपयोग के मामलों पर विभिन्न भाषा मॉडलों के प्रदर्शन का परीक्षण करने में मदद करता है और सटीकता, पठनीयता, जोखिम का प्रबंधन जैसे संकेतकों की तुलना में सहायता करता है। पहले ही वित्तीय सेवा कंपनियों, वाहन निर्माताओं, और मीडिया प्लेटफ़ॉर्म जैसी कंपनियों ने ArthurBench का उपयोग करना शुरू कर दिया है, जिससे विश्लेषण में तेजी और अधिक सटीक उत्तर प्रदान करने में मदद मिल रही है।